Formulação matemática

• \(Y \in \mathbb{R}\) variável de resposta

• \(\mathbf{X} = (X_1, \dots, X_p) \in \mathbb{R}^p\) conjunto de \(p\) preditores para \(Y\)

• Forma geral da relação entre \(\mathbf{X}\) e \(Y\): \[Y = r(\mathbf{X}) + \varepsilon\]

  • \(r\) função fixa porém desconhecida
  • Informação sistemática que \(\mathbf{X}\) dá sobre \(Y\)
  • \(\varepsilon\) erro de observaçao (independente de \(\mathbf{X}\) e de média zero)

Formulação matemática

• Objetivos: Estimar \(r\) a partir de um conjunto de observações \((\mathbf{x}_i, y_i)_{i = 1, \dots, n}\), bem como aferir a qualidade de tal estimativa

• Importante: Assumiremos observações i.i.d., ou seja, \((\mathbf{X}_1, Y_1), \dots, (\mathbf{X}_n, Y_n) \sim (\mathbf{X}, Y)\)

  • O que não significa que a distribuição conjunta entre \(\mathbf{X}\) e \(Y\) será conhecida!
  • Em um mundo ideal, temos \(r(\mathbf{x}) = \mathbb{E}[Y | \mathbf{X} = \mathbf{x}]\)

• \(Y\) qualitativa: problema de regressão

Formulação matemática

• Objetivo preditivo: Como podemos criar uma função \[g: \mathbb{R}^p \to \mathbb{R}\] que tenha bom poder preditivo? Isto é, como criar \(g\) tal que, dadas novas observações i.i.d. \[(\mathbf{X}_{n + 1}, Y_{n + 1}), \dots, (\mathbf{X}_{n + m}, Y_{n + m}) \sim (\mathbf{X}, Y)\] tenhamos \[g(\mathbf{x}_{n + 1}) \approx y_{n + 1}, \dots, g(\mathbf{x}_{n + m}) \approx y_{n + m}?\]

A função risco

Critério para medir o desempenho de uma dada função de predição \(g: \mathbb{R}^p \to \mathbb{R}\)

• \((\mathbf{X}, Y)\) nova observação que não foi usada para se encontrar \(g\)
• \(L(g; (\mathbf{X}, Y))\) – função perda
  • \(L(g; (\mathbf{X}, Y)) = (Y - g(\mathbf{X}))^2\) – perda quadrática
  • \(L(g; (\mathbf{X}, Y)) = |Y - g(\mathbf{X})|\) – perda absoluta
  • muitas outras…

A função risco

• Tirando a dependência na observação específica…
  • \(R_{\mathrm{pred}}(g) = \mathbb{E}[L(g; (\mathbf{X}, Y))]\)
  • No caso da perda quadrática (usual em regresão) \[R_{\mathrm{pred}}(g) = \mathbb{E}[(Y - g(\mathbf{X}))^2]\]
• Na prática, estimamos \(R_{\mathrm{pred}}(g)\) através do erro quadrático médio: \[\mathrm{EQM} = \frac{1}{n} \sum_{i = 1}^{n} (y_i - g(\mathbf{x}_i))^2\]

Estimando o risco

• Teorema: Se \[(\mathbf{X}_{n + 1}, Y_{n + 1}), \dots, (\mathbf{X}_{n + m}, Y_{n + m}) \sim (\mathbf{X}, Y)\] são novas observações i.i.d. (ou seja, não foram usadas para se estimar \(g\)), então o EQM calculado em tais observações é um estimador não-viesado para \(R_{\mathrm{pred}}(g)\).

• Obs.: O valor esperado é tomado somente nas novas observações, e não no conjunto de dados usado para se estimar \(g\).

Estimando o risco

• Qualitativamente:

  • EQM pequeno \(\iff\) previsões próximas às respostas verdadeiras
  • EQM grande \(\iff\) algumas previsões diferem bastante das respostas verdadeiras

• Mas onde esse EQM deve ser calculado? Com que conjunto de dados?

• Obs.: Paralelo entre “aferir qualidade de um modelo” e “selecionar o melhor modelo”

Estimando o risco

• Conjunto de treinamento: \((\mathbf{x}_{k}, y_{k})_{k = 1, \dots, n}\), usado para estimar a função \(g\)
• Conjunto de teste: \((\mathbf{x}_{n + k}, y_{n + k})_{k = 1, \dots, m}\), usado para estimar a qualidade de \(g\), através do EQM de teste: \[\frac{1}{m}\sum_{i = n + 1}^{n + m} (y_i - g(\mathbf{x}_i))^2\]
• Aparentemente queremos \(g\) que minimize o EQM de teste!
• NÃO é razoável assumir que os EQM de treinamento e teste são semelhantes!

Um exemplo

Figura 2.9 de [ITSL]

Esquerda: Dados simulados de \(r\) (em preto), e três estimativas \(g\) com diferentes complexidades. Direita: EQM de treinamento (cinza) e de teste (vermelho), em função da complexidade do modelo.

Um exemplo mais concreto

• \(X \sim \mathcal{U}[0, 2]\)
• \(f(x) = \sin(\pi x)\)
• \(Y = f(X) + \varepsilon\)
• \(\varepsilon \sim \mathcal{N}(0, 0.4)\)
• Ajuste polinomial para diversos valores de \(p\): \[g(x) = \beta_0 + \sum_{n = 1}^{p} \beta_n x^n\]
• Fonte: Bias-variance trade-off with Python example

Dados gerados segundo o modelo

Voltando à estimativa do risco

• Classe de modelos “candidatos”: \(\mathbb{G}\)
• Modelo \(g\) com baixo EQM de treinamento não é um bom sinal de ajuste aos dados, mas também ao ruído subjacente às observações - sobreajuste ou overfitting
• Modelo \(g\) com menor EQM de teste também não é o ideal: super-ajuste ao conjunto de teste! Isto é, isso pode levar à escolha de uma função \(g\) que tenha bom desempenho preditivo no conjunto de teste, mas não em novas observações - mesmas observações usadas para comparar todas os \(g\)!

Problema - Como estimar bem o risco e selecionar o melhor modelo?

• Conjunto de dados \((\mathbf{x}_{k}, y_{k})_{k = 1, \dots}\), i.i.d. segundo \((\mathbf{X}, Y)\)
• \(\mathbb{G}\) classe de modelos “candidatos” para ajustar aos dados
• Aferir “bem” a capacidade preditiva para “toda” \(g \in \mathbb{G}\)
• Escolher a \(g \in \mathbb{G}\) com melhor capacidade de generalização fora do conjunto de dados inicial
• Escolher o melhor hiperparâmetro para alguma \(g\)
  • Exemplos de hiperparâmetros: \(\lambda\) no Lasso ou Ridge, grau \(p\) de um ajuste polinomial, etc…

Dividindo bem o conjunto de dados…

\[\underbrace{(\mathbf{x}_1, y_1), \dots, (\mathbf{x}_n, y_n)}_{\text{conjunto de treinamento}}, \underbrace{(\mathbf{x}_{n + 1}, y_{n + 1}), \dots, (\mathbf{x}_{n + m}, y_{n + m})}_{\text{conjunto de teste}}\]

• Aproximadamente 70% para treinamento e 30% para teste
  • Treinar modelo requer mais informação \(\Rightarrow\) precisa de mais dados
  • Para ter uma boa estimativa do risco no conjunto de teste, menos dados são necessários

…e fazendo bom uso deles!¹

¹ Especialmente do conjunto de treinamento!

Figura 5.5 de [ITSL]

Ilustração esqumática da validação cruzada com \(k\) dobras

Validação cruzada com \(k\) dobras

• Randomizar o conjunto de teste (por quê?)
• Dividir em \(k\) partes iguais (“dobras”, “fold”)
• Primeira dobra: conjunto temporário de teste
• \(k - 1\) outras dobras: conjunto temporário de treinamento
  • Treina um modelo \(g_1\) e calcula seu EQM na primeira dobra
• Repete: \(k\) observações de EQM

Validação cruzada com \(k\) dobras

• \(\mathrm{EQM}_i\), para \(i = 1, \dots, k\)
  • Modelos \(g_i\) treinados no azul e testados no bege, para \(i = 1, \dots, k\)
• \(\mathrm{EQM}_{k-\mathrm{VC}} = \frac{1}{k} \sum_{i = 1}^{k} \mathrm{EQM}_i\)
• Atenção: Não mede a qualidade de um ajuste \(g\) mas sim de um modelo \(g\). Qual a diferença?!

Como escolher o valor de \(k\)?

• \(k = 1\): treina no conjunto de treinamento e aceita
  • “Treina no treino e testa no teste”: super-ajuste ao conjunto de teste
• \(k = n\): Leave One Out Cross Validation (LOOCV)
  • Requer \(n\) ajustes do modelo; computacionalmente caro
• Tipicamente: \(k\) entre 5 e 10
  • Por quê?
  • A resposta usa o balanço entre o viés e a variância

Como escolher o valor de \(k\)?

• LOOCV
  • Treina \(n\) modelos, cada um em \(n - 1\) amostras
  • Modelos mais “bem treinados” \(\Rightarrow\) mais próximos da “verdade” \(\Rightarrow\) menor viés
  • Conjuntos com grande interseção entre si \(\Rightarrow\) modelos muito correlacionados \(\Rightarrow\) \(\mathrm{EQM}_{n-\mathrm{VC}}\) com alta variância
  • O valor de \(\mathrm{EQM}_{n-\mathrm{VC}}\) é menos confiável!

Como escolher o valor de \(k\)?

• \(k\)-VC, com \(k \ll n\)
  • Conjuntos com menos interseção entre si \(\Rightarrow\) modelos menos correlacionados \(\Rightarrow\) \(\mathrm{EQM}_{k-\mathrm{VC}}\) com menor variância \(\Rightarrow\) valor mais confiável
  • E quanto ao viés? Se o conjunto de treinamento é “suficientemente grande” e o modelo não é “muito complexo”, em cada etapa o modelo provavelmente estará bem treinado \(\Rightarrow\) baixo impacto no viés!
• Portanto, \(k\) entre 5 e 10 faz sentido!

E para escolher o melhor ajuste?

\[\underbrace{(\mathbf{x}_1, y_1), \dots, (\mathbf{x}_n, y_n)}_{\text{conjunto de treinamento}}, \underbrace{(\mathbf{x}_{n + 1}, y_{n + 1}), \dots, (\mathbf{x}_{n + m}, y_{n + m})}_{\text{conjunto de teste}}\]

• Escolhe(m)-se bom(ns) candidato(s) \(g\) conforme o procedimento anterior
• Treina(m)-se tal(is) candidato(s) \(g\) em todo o conjunto de treinamento. Por quê?
• Para o(s) modelo(s) \(g\) conforme acima, testa-se o(s) seu(s) desempenho(s) no conjunto de teste
• Escolhe-se o melhor ajuste com base em tal desempenho

Relembrando o exemplo

• \(X \sim \mathcal{U}[0, 2]\)
• \(f(x) = \sin(\pi x)\)
• \(Y = f(X) + \varepsilon\)
• \(\varepsilon \sim \mathcal{N}(0, 0.4)\)
• Como escolher o melhor valor de \(p\) no ajuste polinomial? \[g(x) = \beta_0 + \sum_{n = 1}^{p} \beta_n x^n\]

Implementando o procedimento

mse_deg_mean = {}
for k, v in mse_deg.items():
  mse_deg_mean[k] = np.mean(np.array(v))

print(mse_deg_mean)

print("Best fit polynomial degree (OLD): ", degs[list(mse_vl.values()).index(min(list(mse_vl.values())))])

print("Best fit polynomial degree (NEW): ", degs[list(mse_deg_mean.values()).index(min(list(mse_deg_mean.values())))])

{'0': 0.9149920405590042, '3': 0.43629322358511435, '5': 0.4321016634878056, '7': 0.4408276044043342, '10': 0.45040167629488986, '15': 0.45951803150743126, '20': 0.5162979625038984}
Best fit polynomial degree (OLD):  7
Best fit polynomial degree (NEW):  5